Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation
先观察后推理：解耦感知与推理的抗捷径多模态在线自蒸馏
🧭 解耦感知与推理防止文本捷径
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出 ViGOS，通过先视觉描述后推理并解耦感知与推理教师，防止多模态自蒸馏中基于文本的捷径，提升视觉 grounding。
📌 工作参考价值（4 点）
- 多模态模型训练防捷径：在电商商品理解任务中（如从图文预测属性），可借鉴先描述后推理的生成格式，并用纯图像教师监督描述部分，迫使模型依赖视觉而非文本偏差，提升跨模态对齐。
- 在线自蒸馏的应用：在推荐或多模态 agent 的循环训练里，可引入冻结副本提供稠密 token 级监督，替代稀疏奖励，以缓解学生模型生成与训练分布偏差。
- 错误恢复机制：对无效 rollout 使用参考教师恢复格式，可迁移到 agent 的自我校正或序列生成任务中，保证输出结构规整。
- 视觉推理任务增强：若业务涉及空间 grounding 或图文推理（如图片 QA、导航 agent），可将视觉描述前置，并结合专用感知教师，提升对图像的忠实度。